|
Перевод Селиновой Т.И.
НЕЙРОННЫЕ СЕТИ.
1. Введение в нейронные сети
1.1 Что такое - Нейронная сеть?
Искусственная Нейронная сеть (ИНС) - парадигма обработки информации, созданная на основе работы биологических нервных систем, таких как мозг, которые обрабатывают информацию. Ключевой элемент этой парадигмы - новая структура системы обработки информации. Она состоит из большого количества высоко связанных элементов обработки (нейронов), работающих в унисон, чтобы решить определенные проблемы. ИНС, подобно людям, учатся на примере. ИНС формируется для определенного применения, такого как распознавание образца или классификации данных, через процесс изучения. Изучение в биологических системах предполагает приспособление к синаптическим связям, которые существуют между нейронами. Это верно о ИНС также.
1.2 Исторический фон
Кажется, что моделирование нейронной сети возникло недавно. Однако, эта область была установлена перед появлением компьютеров, и пережила по крайней мере одну главную задержку и несколько эр.
После начального периода энтузиазма, эта область пережила период расстройства и дурной славы. В течение этого периода финансирование и профессиональная поддержка были минимальные, важные успехи были сделаны сравнительно немногими учеными. Эти ученые-основоположники были способны развить убедительную технологию, которая преодолела ограничения, определенные Минским и Папертом. Минский и Паперт издали книгу (в 1969), в которой они подвели итог общему отрицательному настроению (против нейронных сетей) среди исследователей, и были таким образом приняты больше всего без дальнейшего анализа. В настоящее время, область нейронной сети испытывает всплеск интереса и соответствующее увеличение в финансировании.
Первый искусственный нейрон был произведен в 1943 нейропсихологом Уорреном Маккаллоком и логиком Уолтером Питсом. Но технология, доступная тогда не позволяла им делать слишком много.
1.3 Почему используются нейронные сети?
Нейронные сети, с их замечательной способностью получать значение из сложных или неточных данных, могут использоваться, чтобы извлечь образцы и обнаружить тенденции, которые являются слишком сложными, чтобы быть замеченными или людьми или другими компьютерными методами. Об обученной нейронной сети можно думать как об "эксперте" в категории информации, которому это дается, чтобы анализировать. Этот эксперт может использоваться для того, чтобы обеспечить проектирование, данные новые ситуации интереса и ответа на вопросы "Что? Если?".
Другие преимущества включают:
1.Адаптивное изучение: способность научиться выполнять задачи, основанные на информации, данных для обучения или начального опыта.
2.Самоорганизация: ИНС может создать свою собственную организацию или представление информации, которую она получает в течение периода учебы.
3.Работа в режиме реального времени: вычисления ИНС могут проводиться параллельно, и разрабатываются и производятся специальные аппаратные средства, которые могут быть воспользоваться этой способностью.
4.Устойчивость к ошибке за счет избыточного информационного кодирования: частичное разрушение сети ведет к соответствующему ухудшению работы. Однако, небольшое количество способностей сети могут быть сохранены даже при большом повреждении сети.
1.4 Нейронные сети против обычных компьютеров
Нейронные сети имеют различные подходы к решению проблемы в отличие от обычных компьютеров. Обычные компьютеры используют алгоритмический подход, то есть компьютер следует набору команд, чтобы решить проблему. Пока не станут известными определенные шаги, которыми компьютер должен следовать, тогда он не может решить проблему. Это ограничивает способность обычных компьютеров решать такие проблемы, которые мы уже понимаем и знаем, как решить. Но компьютеры были бы более полезны, если бы они могли сделать вещи, которые мы точно не знаем, как сделать.
Нейронные сети обрабатывают информацию способом подобным тому как это делает человеческий мозг. Сеть состоит из большого количества высоко связанных элементов обработки (нейронов), работающих параллельно, чтобы решить определенную проблему. Нейронные сети учатся примером. Они не могут быть запрограммированы на выполнение определенной задачи. Примеры должны быть отобраны тщательно, иначе полезное время тратится впустую или еще хуже, сеть будет функционировать неправильно. Недостаток в том, что сеть решает проблему самостоятельно и ее действие может быть непредсказуемо.
С другой стороны, обычные компьютеры используют познавательный подход к решению проблемы; способ решения проблемы должен быть известен, и определен небольшими и однозначными инструкциями. Эти инструкции преобразовываются в программу с высоким уровнем языка и затем в код машины, который компьютер может понять. Эти машины полностью предсказуемы; если что - нибудь идет не так как надо, то это происходит из-за ошибки аппаратных средств ЭВМ или программного обеспечения.
Нейронные сети и обычные алгоритмические компьютеры не соревнуются, однако дополняют друг друга. Есть задачи, которые более подходят для алгоритмического подхода такие как арифметические действия и задачи, которые более подходят для нейронных сетей. Большее количество задач требуют чтобы использовалась комбинация двух подходов (как правило, обычный компьютер используется, чтобы контролировать нейронную сеть), чтобы исполнить в максимальной эффективности.
Нейронные сети не творят чудеса. Но если они используются разумно, то они могут произвести некоторые удивительные результаты.
2. Человеческие и Искусственные Нейроны - исследование подобий
2.1 Как Человеческий Мозг Учится?
В человеческом мозгу, типичный нейрон собирает сигналы от других через главный узел тонких структур названных дендритами. Нейрон передает сигналы электрической деятельности через длинный, тонкий передатчик, известный как аксон, который распадается на тысячи ответвлений. В конце каждого ответвления расположен синапс, который конвертирует деятельность из аксона в электрические эффекты, которые угнетают или способствуют деятельности аксона в электрические эффекты, которые угнетают или возбуждают деятельность в связанных нейронах. Когда нейрон получает эксцитатный сигнал, который является достаточно большим по сравнению с его угнетающим сигналом, то он передает сигнал электрической деятельности вниз по аксону. Изучение происходит, изменением эффективности синапсов так, чтобы один нейрон влиял на других.
Рисунок 1 – Компоненты нейрона
2.2 От Человеческих Нейронов до Искусственных Нейронов
Мы проводим эти нейронные сети в соответствии с первой попыткой вывести существенные особенности нейронов и их взаимосвязей. Мы тогда типично программируем компьютер, чтобы моделировать эти особенности. Однако, так как наше знание нейронов неполно, и наша вычислительная способность ограничена, наши модели - обязательно будут грубее реальных сетей нейронов.
3. Технический подход
3.1 Простой нейрон
Искусственный нейрон - устройство со многими входами и одним выходом. Нейрон имеет два режима работы: режим обучения и режим использования. В режиме обучения, нейрон может быть обучен реагировать (или не) на определенную структуру ввода. В режиме использования, когда преподанный входной образец обнаружен на входе, его выход становится текущим выходом. Если структура входа не принадлежит к изученному перечню структур входа, правило реагирования используется для определения стоит реагировать на это или нет.
Рисунок 2 – Простой нейрон
3.2 Более сложный нейрон
Предыдущий нейрон не делает ничего того, что не делали бы обычные компьютеры. Более сложный нейрон (рисунок 1) - модель McCulloch и модель Pitts (MCP). Отличие от предыдущей модели - то, что входы 'взвешены', воздействие которого состоит в том, что каждый вход имеет в принятии решения, зависит от веса специфического входа. Вес входа - число, которое при умножении со входом дает взвешенный вход. Эти взвешенные входы тогда суммируются вместе и если они превышают заданную пороговую ценность, то нейрон активизируется. В любом другом случае нейрон не реагирует.
Рисунок 3 – Нейрон MCP
В математических терминах, нейрон реагирует если и только если:
X1W1 + X2W2 + X3W3 + ... > T
Дополнение входных весов и порога делает этот нейрон очень гибким и мощным. Нейрон MCP имеет способность приспосабливаться к специфической ситуации, изменяя свой вес и/или порог. Существуют различные алгоритмы, которые заставляют нейрон приспосабливаться; наиболее используемые - правило Дельты и обратное распространение ошибки.
|